مدل های یادگیری ماشینی که می توانند احساسات انسانی را بشناسند و پیش بینی کنند ، طی چند سال گذشته به طور فزاینده ای رایج شده اند. به منظور عملکرد بیشتر این تکنیک ها ، داده های مورد استفاده برای آموزش آنها ابتدا توسط افراد انسانی حاشیه نویسی می شوند. علاوه بر این ، احساسات به طور مداوم در طول زمان تغییر می کنند ، که حاشیه نویسی فیلم ها یا ضبط صدا را به ویژه چالش برانگیز می کند ، و اغلب منجر به اختلاف بین برچسب ها و ضبط ها می شود.
برای پرداختن به این محدودیت ، محققان دانشگاه میشیگان اخیراً یک شبکه عصبی کانونشنال جدید را توسعه داده اند که می تواند همزمان با آن یادداشتهای احساسی را به روشی انتهایی و هماهنگ پیش بینی کند. آنها تکنیک خود را با نام شبکه همگام سازی چند تأخیری (MDS) در مقاله ای منتشر شده در IEEE Transactions on Computing Computing ارائه دادند .
"احساسات به طور مداوم در زمان تغییر می کند ؛ در گفتگوهای ما جاری می شود و جریان می یابد." Emily Mower Provost ، یکی از محققانی که این تحقیق را انجام داده است ، به TechXplore گفت. "در مهندسی ، ما اغلب توصیفهای مداوم از احساسات را برای سنجش میزان احساسات استفاده می کنیم. هدف ما پیش بینی این اقدامات مداوم از گفتار می شود. اما یک نتیجه گیری وجود دارد. یکی از بزرگترین چالش ها در کار با توصیف های مداوم از احساسات این است که این کار توسط تیم های حاشیه نویسان انسانی انجام می شود. اما مردم دستگاه نیستند. "
همانطور که توضیحات Mower Provost ادامه می دهد ، حاشیه نویسان بشر گاهی می توانند به نشانه های عاطفی خاصی توجه داشته باشند (مثلاً خنده) ، اما معنای پشت نشانه های دیگر را از دست می دهند (مثلاً آه ای عجیب). علاوه بر این ، انسان می تواند مدتی را برای پردازش یک ضبط طول بکشد ، و بنابراین ، واکنش آنها نسبت به نشانه های عاطفی گاهی به تأخیر می افتد. در نتیجه ، برچسب های احساسات مداوم می توانند تغییرات زیادی را ارائه دهند و گاه با گفتار در داده ها نادرست می شوند.
در مطالعه خود ، مورو ولایت و همكارانش به طور مستقیم به این چالش ها پرداختند و با تمرکز بر دو اقدام مداوم احساسات: مثبت بودن (استعداد) و انرژی (فعال سازی / برانگیختگی). آنها شبکه همگام سازی چند تاخیری را معرفی کردند ، روشی جدید برای کنترل غلط بین گفتار و حاشیه نویسی های مداوم که به انواع مختلفی از نشانه های صوتی واکنش نشان می دهد.
سهیل خرم ، یکی دیگر از محققان درگیر در مطالعه ، به TechXplore گفت: "توضیحات بعدی بطور مداوم از احساسات (به عنوان مثال برانگیختگی ، استعداد) اطلاعات مفصلی را در مورد تغییرات کوتاه مدت و روند طولانی مدت در بیان احساسات ارائه می دهد. "هدف اصلی مطالعه ما ایجاد سیستم تشخیص خودکار احساسات است که بتواند احساسات بعدی بعدی را از سیگنالهای گفتار تخمین بزند. این سیستم می تواند تعدادی از برنامه های دنیای واقعی را در زمینه های مختلف از جمله تعامل انسان و کامپیوتر داشته باشد ، آموزش الکترونیکی ، بازاریابی ، مراقبت های بهداشتی ، سرگرمی و قانون. "
شبکه مشروطه که توسط Mower Provost ، خرم و همکارانشان ایجاد شده است ، دو مؤلفه مهم دارد ، یکی برای پیش بینی احساسات و دیگری برای تراز کردن. مؤلفه پیش بینی احساسات یک معماری پیچیده متداول است که برای شناسایی ارتباط بین ویژگی های صوتی و برچسب های احساسات آموزش دیده است.
از طرف دیگر مؤلفه تراز ، لایه جدیدی است که توسط محققان معرفی شده است (یعنی لایه همگام سازی با تأخیر) ، که یک تغییر زمان قابل یادگیری را برای سیگنال آکوستیک اعمال می کند. محققان با درج چندین مورد از این لایه ها ، تغییرات تاخیر را جبران کردند.
خرم توضیح داد: "یک چالش مهم در ایجاد سیستم های خودکار برای پیش بینی برچسب های احساسی مداوم از زمان گفتار این است که این برچسب ها معمولاً با گفتار ورودی هماهنگ نمی شوند." وی گفت: "این عمدتا به دلیل تاخیرهای ناشی از زمان واکنش است که ذاتی در ارزیابی های انسان است. برخلاف رویکردهای دیگر ، شبکه عصبی کانونی ما قادر است همزمان برچسب ها را به صورت انتهایی تا انتها تنظیم کند. شبکه همگام سازی مفاهیم پردازش سیگنال سنتی (یعنی فیلتر همگام سازی) را در معماری یادگیری عمیق مدرن برای مقابله با مشکل تأخیر در واکنش نشان می دهد. "
محققان تکنیک خود را در یک سری آزمایش با استفاده از دو مجموعه داده در دسترس عمومی ، یعنی مجموعه داده های RECOLA و SEWA ارزیابی کردند. آنها دریافتند که جبران تأخیر در واکنش نشانگرها در هنگام آموزش مدل تشخیص احساسات ، منجر به پیشرفتهای چشمگیر در دقت تشخیص احساس می شود.
آنها همچنین مشاهده کردند که تأخیرهای واکنش حاشیه نویسان هنگام تعریف برچسبهای احساسی مداوم ، معمولاً از 7.5 ثانیه تجاوز نمی کنند. سرانجام ، یافته های آنها حاکی از آن است که بخش هایی از گفتار که شامل خنده است ، در مقایسه با مواردی که توسط دیگر نشانه های عاطفی مشخص شده اند ، به اجزای تأخیر کوچکتر نیاز دارند . به عبارت دیگر ، غالباً برای حاشیه نویسان تعریف برچسب های احساسات در بخش های گفتار که شامل خنده است ، آسان تر است.
مورو ولایت گفت: "احساسات در همه جا وجود دارد و برای ارتباطات ما اساسی است." وی گفت: "ما در حال ایجاد سیستم های قدرتمند و قابل تشخیص برای تشخیص احساسات هستیم تا افراد بتوانند به راحتی به این اطلاعات دسترسی پیدا کرده و از آنها استفاده کنند. بخشی از این هدف با ایجاد الگوریتم هایی انجام می شود که می توانند از منابع داده های خارجی خارجی بزرگ ، چه دارای برچسب و چه غیرفعال استفاده کنند و با استفاده از الگوی طبیعی دینامیک بخشی از نحوه برقراری ارتباط عاطفی است. بخش دیگر با درک همه از پیچیدگی هایی که ذات خود برچسب ها است ، انجام می شود. "
اگرچه Mower Provost ، خرم و همکارانشان از تکنیک خود برای انجام وظایف شناخت احساسات استفاده می کنند ، اما می توان از آن برای تقویت سایر برنامه های یادگیری ماشین نیز استفاده کرد که در آن ورودی ها و خروجی ها کاملاً مطابقت ندارند. در آینده کار محققان قصد دارند به تحقیق در مورد روش هایی که برچسب های احساسات تولید شده توسط حاشیه نویسان انسانی می توانند به طور موثر در داده ها ادغام شوند ، ادامه دهند.
خرم گفت: "ما از تقریبی عملکرد Delta Dirac و جبران تأخیرها ، از یک فیلتر همگام سازی استفاده کرده ایم. با این وجود ، به جای هسته همگام سازی ، سایر عملکردها مانند گاوسی و مثلثی نیز می توانند استفاده شوند." "آینده کار ما تأثیر استفاده از انواع مختلف هسته را که می تواند عملکرد دلتا دیراک را تقریبی کند مورد بررسی قرار می دهد. علاوه بر این ، در این مقاله ما بر روی حالت گفتار متمرکز شده ایم تا پیش بینی های مداوم احساسات را پیش بینی کنیم ، در حالی که شبکه همگام سازی چند تاخیری پیشنهادی منطقی است. یک روش آینده برای ارزیابی عملکرد شبکه پیشنهادی نسبت به سایر روشهای فیزیولوژیکی و رفتاری مانند: فیلم ، زبان بدن و EEG است. "
بیشتر بخوانید: محاسبات اندازه پمپ وکیوم خلاء
نظرات شما عزیزان:
